A Hybrid Nested Harness for Decoupling Structure and Parameters in LLM-Driven Optimization
LLM驱动的混合嵌套搜索：解耦结构与参数优化
🧭 LLM驱动的结构-参数解耦优化
Komorebi AI Technologies
提出外层LLM生成结构草图、内层数值优化器调参的混合框架，在科学任务中大幅超越纯LLM搜索
📌 工作参考价值（4 点）
- 在推荐系统的策略自动化设计中，可以用LLM生成召回/排序的规则结构（如if-else逻辑、模型组合方式），再用CMA-ES或贝叶斯优化微调其中的阈值、权重等参数，避免token浪费并提升性能
- 对于Agent的行为策略优化，可让LLM提出高层次控制流草图，内层用数值优化器（如MCMC）搜索最优参数，减少试错成本
- 在自动超参搜索场景，将LLM生成的训练脚本作为结构模板，内部超参（如学习率、dropout）交给梯度优化器，可结合LLM的先验知识与数值优化的高效性
- 框架支持内外层柔性替换，业务中可根据实际算力与需求选择不同的LLM和优化器（例如用闭源LLM生成结构，开源轻量模型微调参数），具有很强的工程落地灵活性